Dalam dunia Kecerdasan Buatan, pemodelan urutan mengalihkan fokus dari gambar statis ke aliran temporal. Tugas pembelajaran mesin standar sering mengasumsikan bahwa titik data adalah Independen dan Terdistribusi Sama (IID), yang berarti urutan sampel tidak memengaruhi hasil.

Pemodelan urutan secara eksplisit menolak hal ini, dengan fokus pada tiga pilar utama:

• Pelanggaran terhadap Invariansi Permutasi: Dalam data tabel, urutan kolom bersifat sembarang. Dalam urutan, urutan adalah fitur utama. Menukar "Kucing memakan tikus" menjadi "Tikus memakan kucing" secara mendasar mengubah kebenaran semantik dasar meskipun token-nya sama.
• Autoregresif Sifat-sifat: Kami mengasumsikan bahwa pengamatan pada waktu $t$ secara matematis bergantung pada sejarahnya ($t-1, t-2, \dots, 1$). Hal ini menuntut probabilitas transisi untuk menangkap bagaimana informasi berkembang.
• Pemetaan Panjang Variabel: Berbeda dengan kisi 28x28 piksel yang tetap, urutan seperti kalimat atau gelombang seismik adalah elastis. Model harus memproses input panjang $N$ dan menghasilkan output panjang $M$ menggunakan parameter yang konsisten.